Lã Quang là một người Đê, mặc dù vậy, ông tuyên bố có tổ tiên là một người Hán tên là Lã Văn Hòa (呂文和) đã chạy trốn từ huyện Phái của quận Tứ Thủy (nay là huyện Phong, Từ Châu, Giang Tô, tức đồng hương với tổ tiên của nhà Hán) trong một thiên tai và định cư ở vùng đất của người Đê. Ông sinh năm 337, cha ông là Lã Bà Lâu (呂婆樓) là một thuộc cấp của tộc trưởng người Đê kiêm tướng của Hậu Triệu là Bồ Hồng (蒲洪, về sau cải sang họ Phù).

Năm 351, sau khi con trai Phù Hồng là Phù Kiện lập nước Tiền Tần, Lã Bà Lâu phụng sự cho cháu trai của Phù Kiện là Đông Hải vương Phù Kiên. Sau khi Phù Kiên lật đổ Phù Sinh (con trai của Phù Kiện) vào năm 357 và lên ngôi, đã phong cho Lã Bà Lâu làm một trong những quân sư cấp cao của mình.